AI Papers Daily

#passkey retrieval

2 篇

First Passage Attention

首达注意力机制（First Passage Attention）

🧭 注意力机制 · 选择性上下文擦除

University of Bergen

用路径极值替代累加衰减，实现选择性上下文擦除并压缩 KV cache 到 25% 仍保持长程检索

📌 工作参考价值（4 点）

• 长序列用户行为建模：FPA 的“路径极值”允许选择性擦除中间事件（如误触、临时会话）而保留早期长期偏好，适合电商用户序列编码。
• 多轮 Agent/对话上下文管理：可借鉴其栈式存活 key 机制，在 RAG 长对话中自动丢弃已撤销指令或中间推理，降低噪声并压缩 KV cache。
• 工程优化：FPA 在约 25% KV cache 压缩下保持 8 倍训练长度 passkey 检索，可直接用于长上下文推理降本，对搜索推荐 LLM 服务有实用价值。
• 可尝试将 FPA 头部作为用户序列编码器，替代 additive forget gate，提高对层级事件（加入/删除购物车、订单状态变更）的敏感度。

LLM | 2026-10-14 | HF Daily | score 7/10

attentionforget gateKV cachelong contextpasskey retrievalselective erasure

When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings

ALiBi 位置编码的浮点下溢失明问题与缓解策略

🧭 ALiBi 位置编码数值缺陷分析与缓解

Leipzig University (InfAI) · ScaDS.AI Dresden/Leipzig · Seltz · University of Kassel · hessian.AI

发现 ALiBi 的线性偏置在长距离下因浮点下溢导致注意力权重为零，提出 log 缩放距离等缓解方法

📌 工作参考价值（4 点）

• 若在电商搜索推荐等场景使用基于 ALiBi 的 decoder-only LLM（如生成 query、长用户序列建模），需注意长距离 token 的注意力权重可能因浮点下溢变为零，导致头部“失明”，影响长文本检索能力。可通过监控 attention underflow 比例来诊断。
• 训练时可改用 log-scaled distances 作为位置偏置，该方法在 passkey retrieval 任务中表现最稳定，能显著缓解下溢；也可结合 clamping 或混合偏置。
• 评估长上下文模型时，不能仅看常规困惑度或标准基准，需加入 needle-in-a-haystack 类 token 检索任务，避免 ALiBi 的隐性缺陷影响线上长序列性能。
• 若必须沿用默认 ALiBi 斜率，应意识到其作为强基线在 needle-in-a-haystack 任务上仍有竞争力，但需权衡训练稳定性与检索能力损失。

Training | 2026-08-03 | HF Daily | score 7/10

ALiBipositional encodingfloating-point underflowattentionpasskey retrievalLLM training